Circuit Condensation: Post-Training that Concentrates a Behavior's Causal Circuit
电路浓缩:通过后训练将行为因果电路集中化
🧭 训练后因果电路压缩
George Mason University
后训练低秩适配器逐轮剪枝低归因边,将行为压缩为更小且保真的因果电路
📌 工作参考价值(4 点)
- 可借鉴其“归因-剪枝-低秩适配器回填”流程,对业务大模型做能力定位与裁剪:先对目标行为(如商品类目识别、query 意图分类)做边归因,逐轮剪掉低贡献边并用 LoRA 适配器保持输出分布,在性能与通用能力不降的前提下得到更小的可审计子网络。
- 该方法强调验证剪枝后任务性能和通用能力均保留,可作为推荐/搜索模型剪枝或蒸馏时的验收标准,避免只优化单一指标而损害泛化。
- 配对消融揭示边间依赖,提醒在推荐系统中评估特征或模块贡献时不能只看单变量消融;可设计成对/组合消融实验,发现模块间的补偿与冗余。
- 整体更偏可解释性学术贡献,直接迁移到电商生产链路需额外工程化,但低秩适配器匹配原模型分布的做法可复用于行为保真压缩。